ollamaを入れてLLMを試す bsahd

bsahd.icon

スタートアップを無効化

gemma2:2b(2.6b)

Largeじゃないけど...

GPU...ゴミとして有名なIntel HD Graphics

CPUで、結構使える

読む速度と同期するので流し読みにならない

2bにしては日本語もできる

日本語で回答しろと言ったら日本語で回答してくれる

起動は結構速い

ローカルで言語モデルを動かすことの利点

ローカルで言語モデルを動かすことの利点は、多岐に渡ります。

**主なメリット:**

* **プライバシーとセキュリティの確保:** データの所有権と機密性を確保するこ

とができます。外部サービスへの依存度が低く、個人情報や企業秘密の漏洩リスクを

最小限に抑えることができます。

* **完全な制御:** モデルの動作やデータの処理方法を完全に把握し、自由にカスタ

マイズできます。モデルの性能向上や特定用途での最適化が可能です。

* **安定性と信頼性:** インターネット回線やサーバーの障害による影響を受けな

いため、より安定した運用が可能となります。

* **低コスト:** 無料のローカル環境で動作する言語モデルの利用は、コスト削減に

つながります。また、特別な機器や専門知識が必要となる必要性が減ります。

* **データの活用:** 独自のデータセットを用いてモデルをトレーニングし、特定

の分野での応用が可能になります。

**具体的な利点:**

* **教育・学習**: 学生や教師が、より直接的に言語モデルの動作を理解して、学習

することができます。

* **研究・開発**: 特定の分野で応用する場合に、実験や分析に利用できます。

* **データ分析**: データの処理や分析を行う際に、ローカル環境での処理が可能で

す。

* **セキュリティ**: 重要なデータや機密情報を扱う場合に、安全な環境で処理でき

ます。

**ただし、ローカル環境での言語モデルの活用には注意点も:**

* **ハードウェア・ソフトウェアの要件:** モデルの処理能力とメモリ容量によっ

て、必要なハードウェアやソフトウェアが異なります。

* **学習コスト:** モデルのトレーニングには、膨大なデータと計算資源が必要とな

ります。

* **専門知識**: ローカル環境での言語モデルの運用には、プログラミングやシス

テム管理などの専門知識が必要です。

結論として、ローカルで言語モデルを動かすことの利点は、プライバシー、安定性

、低コストなど、多くのメリットを提供します。しかし、ハードウェア・ソフトウェ

アの要件や学習コストなどを考慮する必要があります。

$ /set system 必ず日本語で回答してください

それでも英語で質問されると英語で回答する

qwen2:0.5b

>>> こんにちは。

こんにちは、どうこんなんですか？

中国語の部屋は、「客室」または「客館」という意味があります。特に、日本の文化

や歴史が中心に置かれることが多いです。これは、日本料理もよく好きで、中国料理

も珍めばいいという印象があります。したがって、中国語の部屋についてお手伝いい

たしますか？

参考:gemma2:2b

>>> 中国語の部屋とは

"中国語の部屋" は、日本語で **「中国語部屋」** と訳される。これは、**中国語

を学ぶための場所** を指す言葉です。

具体的には、以下の様な内容が考えられます：

* **学習塾や教室:** 中国語を教える塾や教室がある場所。

>>> AIの文脈にて、中国語の部屋とは 日本語で回答してください

AIの文脈で「中国語の部屋」は、以下のような意味で使われます。

* **データセット:** 中国語に関する膨大なデータセットが保管されている場所（

例: 機械学習モデルのトレーニングに使われるデータ

(stop)

llama3.2 1b

>>> 中国語の部屋とは

中国語の部屋は、中文を学ぶことを通じて、日本語や其他の言語へのアクセスを可能

にする場所です。通常、このような建物には中国人が住む場合もあります。これは、

多くの中国人にとって日本語を覚える上でのサポートと情報源としての役割を果たし

、中国人と共通のコミュニティを作成するために設計されたものです。

llama3.2 3b

>>> 中国語の部屋とは

中国語の部屋とは、主に中国語を学習し、話すことを目的とした部屋です。ここでは

、さまざまなレベルで日本人や外国人が中国語を学ぶことを目指した環境を作り上げ

ています。

このような部屋には、以下のような場所と機器が設置されています。

1. Bücherei (図書室)：本や教科書、CD、DVDなどを収蔵し、使用できるように整

理しています。

byeしても、stopしない限りメモリ上に残る

llama3.2:1b(公式に日本語サポートはない)

llama3.2:3b

schroneko/gemma-2-2b-jpn-it:q4_0

code:sh

>> bashのふりをしてください

...*かしこまりました。*

**何にしたいですか？**

* 例：ファイル操作、コマンド実行、システム設定など

>> cwd

/home/user

>> ls

./ Documents Downloads Music Pictures Projects scripts Templates

Videos

>> cd Documents

/home/user/Documents

>> ls

* .bashrc * .gitconfig * .bash_profile * .idea/ * .vscode * images

* notes * readme.md

>> ls -l

-rw-r--r-- 1 user user 398 Apr 26 14:07 .bashrc

-rw-r--r-- 1 user user 143 Apr 26 14:07 .gitconfig

-rw-r--r-- 1 user user 553 Apr 26 14:07 .bash_profile

-rw-r--r-- 1 user user 279 Apr 26 14:07 images

-rw-r--r-- 1 user user 488 Apr 26 14:07 notes

-rw-r--r-- 1 user user 311 Apr 26 14:07 readme.md

>> touch bsahd

*touch bashd*.

>> echo "Hello world" > bsahd

/home/user/Documents/bsahd

>> ls

* .bashrc * .gitconfig * .bash_profile * .idea/ * .vscode * images

* notes * readme.md

>> cat bsahd

Hello world

>> uptime

12 days, 1:06

応答の生成中に次の質問を入れると稼働率UP

llama3.1(8B)

スペック的に限界な気がする

速度とか限界だった

https://gyazo.com/65b62713939a5684a8e4674a084e3f62

システムメッセージを日本語で設定すると日本語で回答してくれる？

ollamaにはシステムメッセージとか設定した後モデルのコピーが作れる

ollamaのqwen2.5がLocal Chatの同じモデルより中国語の回答が多い理由、システムメッセージだったのかな

open-webui入れてみる

パスの長さ制限に引っかかった、レジストリを設定する

IPEX-LLM OK

llama.cppの実行環境セットアップでclone工程が抜かれてる

ipex-llmがちゃんとインストールされてないだけだった

sycl7.dllが見つからない

環境作成からやり直し

DL完了

インストール完了

ollama serve

Requirements for Accelerators

GPUs:

Intel® UHD Graphics for 11th generation Intel processors or newer

そういえば第7世代だった

試してみる

inajob.icon